Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability
Agent 记忆在模型升级后是否可用:记忆可移植性对照研究
🧭 Agent 记忆可移植性评测
对照评测四种 Agent 记忆格式在模型升级后的可移植性,证明固定 schema 知识图谱最稳,NOTES 与 RAG 需重建或保留原始历史
📌 工作参考价值(4 点)
- 生产级 Agent 记忆若可能经历模型升级,优先用固定 schema 的 KG 而非自由文本 NOTES;KG-fixed 在 writer swap 下 accuracy 几乎不变,能避免模型耦合导致的隐性遗忘。
- RAG 记忆系统升级 embedding 模型时,不要在同一个索引里混用新旧 embedding:50/50 混合只拿到 4.96pp 增益,会丢掉全量 re-embedding 的 11.90pp 大部分收益。应隔离版本化 embedding 空间,新模型向量写入独立索引。
- 只保留压缩后的 NOTES 不够:模型升级后 store-only repair 在 48 个用例中全都达不到 90% 恢复目标;必须同时保留原始 source history,才能在检索或解读出错时重新构建记忆。
- 记忆迁移评估必须做方向特异性测试:NOTES 迁移出现 +9.91 与 -13.28pp 的非对称变化。训练/评测 pipeline 里不要只测 A→B,要把 B→A 也纳入回归项。